Open Information Extraction (OpenIE) facilitates the open-domain discovery of textual facts. However, the prevailing solutions evaluate OpenIE models on in-domain test sets aside from the training corpus, which certainly violates the initial task principle of domain-independence. In this paper, we propose to advance OpenIE towards a more realistic scenario: generalizing over unseen target domains with different data distributions from the source training domains, termed Generalized OpenIE. For this purpose, we first introduce GLOBE, a large-scale human-annotated multi-domain OpenIE benchmark, to examine the robustness of recent OpenIE models to domain shifts, and the relative performance degradation of up to 70% implies the challenges of generalized OpenIE. Then, we propose DragonIE, which explores a minimalist graph expression of textual fact: directed acyclic graph, to improve the OpenIE generalization. Extensive experiments demonstrate that DragonIE beats the previous methods in both in-domain and out-of-domain settings by as much as 6.0% in F1 score absolutely, but there is still ample room for improvement.
translated by 谷歌翻译
Various depth estimation models are now widely used on many mobile and IoT devices for image segmentation, bokeh effect rendering, object tracking and many other mobile tasks. Thus, it is very crucial to have efficient and accurate depth estimation models that can run fast on low-power mobile chipsets. In this Mobile AI challenge, the target was to develop deep learning-based single image depth estimation solutions that can show a real-time performance on IoT platforms and smartphones. For this, the participants used a large-scale RGB-to-depth dataset that was collected with the ZED stereo camera capable to generated depth maps for objects located at up to 50 meters. The runtime of all models was evaluated on the Raspberry Pi 4 platform, where the developed solutions were able to generate VGA resolution depth maps at up to 27 FPS while achieving high fidelity results. All models developed in the challenge are also compatible with any Android or Linux-based mobile devices, their detailed description is provided in this paper.
translated by 谷歌翻译
关于多模式情绪识别的最新作品转向端到端模型，该模型可以提取与两阶段管道相比，目标任务监督的特定任务特征。但是，以前的方法仅模拟文本和声学和视觉方式之间的特征相互作用，而忽略了捕获声学和视觉方式之间的特征相互作用。在本文中，我们提出了多模式的端到端变压器（ME2ET），该变压器可以有效地对低级和高级水平的文本，声学和视觉方式之间的三模式特征进行建模。在低水平，我们提出了进行性三模式的注意，可以通过采用两次通行策略来对三模式特征相互作用进行建模，并可以进一步利用这种相互作用，以通过降低输入令牌来显着降低计算和记忆复杂性长度。在高水平上，我们引入了三模式特征融合层，以明确汇总三种模式的语义表示。 CMU-MOSEI和IEMOCAP数据集的实验结果表明，ME2ET实现了最新性能。进一步的深入分析证明了拟议的渐进三模式关注的有效性，效率和解释性，这可以帮助我们的模型实现更好的性能，同时显着降低计算和记忆成本。我们的代码将公开可用。
translated by 谷歌翻译
可重新配置的智能表面（RIS）可以显着增强TERA-HERTZ大量多输入多输出（MIMO）通信系统的服务覆盖范围。但是，获得有限的飞行员和反馈信号开销的准确高维通道状态信息（CSI）具有挑战性，从而严重降低了常规空间分裂多次访问的性能。为了提高针对CSI缺陷的鲁棒性，本文提出了针对RIS辅助TERA-HERTZ多用户MIMO系统的基于深度学习的（DL）基于速率的多访问（RSMA）方案。具体而言，我们首先提出了基于DL的混合数据模型驱动的RSMA预编码方案，包括RIS的被动预编码以及模拟主动编码和基本站（BS）的RSMA数字活动预码。为了实现RIS的被动预码，我们提出了一个基于变压器的数据驱动的RIS反射网络（RRN）。至于BS的模拟主动编码，我们提出了一个基于匹配器的模拟预编码方案，因为BS和RIS采用了Los-Mimo天线阵列结构。至于BS的RSMA数字活动预码，我们提出了一个低复杂性近似加权的最小均方误差（AWMMSE）数字编码方案。此外，为了更好地编码性能以及较低的计算复杂性，模型驱动的深层展开的主动编码网络（DFAPN）也是通过将所提出的AWMMSE方案与DL相结合的。然后，为了在BS处获得准确的CSI，以实现提高光谱效率的RSMA预编码方案，我们提出了一个CSI采集网络（CAN），具有低飞行员和反馈信号开销，下行链接飞行员的传输，CSI在此处使用CSI的CSI反馈。 （UES）和BS处的CSI重建被建模为基于变压器的端到端神经网络。
translated by 谷歌翻译
Twitter机器人检测是一项重要且有意义的任务。现有的基于文本的方法可以深入分析用户推文内容，从而实现高性能。但是，新颖的Twitter机器人通过窃取真正的用户的推文并用良性推文稀释恶意内容来逃避这些检测。这些新颖的机器人被认为以语义不一致的特征。此外，最近出现了利用Twitter图结构的方法，显示出巨大的竞争力。但是，几乎没有一种方法使文本和图形模式深入融合并进行了交互，以利用优势并了解两种方式的相对重要性。在本文中，我们提出了一个名为BIC的新型模型，该模型使文本和图形模式深入互动并检测到推文语义不一致。具体而言，BIC包含一个文本传播模块，一个图形传播模块，可分别在文本和图形结构上进行机器人检测，以及可证明有效的文本互动模块，以使两者相互作用。此外，BIC还包含一个语义一致性检测模块，以从推文中学习语义一致性信息。广泛的实验表明，我们的框架在全面的Twitter机器人基准上优于竞争基准。我们还证明了拟议的相互作用和语义一致性检测的有效性。
translated by 谷歌翻译
跨模式时尚图像合成已成为一代域中最有前途的方向之一，因为巨大的未开发的潜力融合了多种方式和广泛的时尚图像应用。为了促进准确的生成，跨模式合成方法通常依赖于对比的语言图像预训练（剪辑）来对齐文本和服装信息。在这项工作中，我们认为，简单地对齐纹理和服装信息不足以捕获视觉信息的语义，因此提出了maskClip。 MaskClip将服装分解为语义部分，以确保视觉和文本信息之间的细粒度和语义准确对齐。在MaskClip上，我们建议Armani，这是一位统一的跨模式时装设计师，具有零件级的服装文本对齐。 Armani在第一阶段将图像分散成统一令牌，并使用变压器在第二阶段的控制信号的标记中使用变压器为真实图像的图像令牌进行建模。与同样依赖两阶段范式的先前方法相反，Armani将文本令牌引入了代码簿中，使该模型可以利用细粒语义信息来生成更真实的图像。此外，通过引入跨模式变压器，Armani具有通用性，可以从各种控制信号（例如纯文本，草图图像和部分图像）中完成图像合成。在我们新收集的跨模式时尚数据集上进行的广泛实验表明，Armani在不同的合成任务中生成了光真实的图像，并且优于现有的最先进的跨模式图像综合方法。 github.com/harvey594/armani。
translated by 谷歌翻译
尽管在产生流利的文本方面取得了进步，但现有的预训练模型倾向于在产生诸如故事和新闻之类的叙述时将不连贯的事件序列附加到相关实体上。我们猜想，这些问题是由将实体表示为浅表词的静态嵌入而导致的，同时忽略了对其不断变化的状态建模，即随着文本的展开，即它们所携带的信息。因此，我们将变压器模型扩展到动态执行实体状态更新和叙事生成的句子实现。我们提出了一个对比框架，以在离散空间中学习状态表示，并将其他注意层插入解码器中以更好地利用这些状态。两个叙述数据集的实验表明，与有意义的实体状态的指导相比，我们的模型可以产生更多的连贯和多样化的叙事。
translated by 谷歌翻译
点云和RGB图像是自主驾驶中的两个普遍感知来源。前者可以提供对象的准确定位，而后者在语义信息方面更加浓密，更丰富。最近，AutoAlign提出了可学习的范式，以结合这两种用于3D对象检测的方式。但是，它遭受了全球关注所引入的高计算成本。为了解决问题，我们在这项工作中提出了跨域变形模块。它针对跨模式关系建模的稀疏可学习抽样点，这增强了对校准误差的耐受性，并大大加快了不同方式的特征聚集。为了在多模式设置下克服复杂的GT-EAG，我们设计了一个简单而有效的跨模式增强策略，鉴于其深度信息，图像贴片的凸组合。此外，通过执行新型的图像级辍学训练方案，我们的模型能够以动态的方式推断。为此，我们提出了AutoAlignv2，这是一个更快，更强大的多模式3D检测框架，该框架构建在自动Autoalign之上。对Nuscenes基准测试的广泛实验证明了自动alignv2的有效性和效率。值得注意的是，我们的最佳模型在Nuscenes测试排行榜上达到了72.4 ND，在所有已发布的多模式3D对象探测器中都取得了新的最新结果。代码将在https://github.com/zehuichen123/autoalignv2上找到。
translated by 谷歌翻译
由于文件传达了丰富的人类知识，并且通常存在于企业中，因此建筑文档的对话系统已经越来越兴趣。其中，如何理解和从文档中检索信息是一个具有挑战性的研究问题。先前的工作忽略了文档的视觉属性，并将其视为纯文本，从而导致不完整的方式。在本文中，我们提出了一个布局感知文档级信息提取数据集，以促进从视觉上丰富文档（VRD）中提取结构和语义知识的研究，以在对话系统中产生准确的响应。 Lie包含来自4,061页的产品和官方文件的三个提取任务的62K注释，成为我们最大的知识，成为最大的基于VRD的信息提取数据集。我们还开发了扩展基于令牌的语言模型的基准方法，以考虑像人类这样的布局功能。经验结果表明，布局对于基于VRD的提取至关重要，系统演示还验证了提取的知识可以帮助找到用户关心的答案。
translated by 谷歌翻译
实体链接旨在将模棱两可的提及与知识库中的相应实体联系起来，这对于各种下游应用程序是重要的，例如知识库完成，问题答案和信息提取。尽管已经致力于这项任务，但这些研究中的大多数遵循以下假设，即可以使用大规模标记的数据。但是，当由于劳动密集型注释工作而导致的标记数据不足以针对特定领域时，现有算法的性能将遭受无法忍受的下降。在本文中，我们努力解决了几个弹药实体链接的问题，这只需要最少的标记数据，并且在实际情况下更为实用。具体而言，我们首先提出了一种新颖的弱监督策略，以基于提及的重写生成非平凡的合成实体对。由于合成数据的质量对有效的模型训练有关键的影响，因此我们进一步设计了一种元学习机制，以自动为每个合成实体对分配不同的权重。通过这种方式，我们可以深刻利用丰富而宝贵的语义信息，从而在几个射击设置下得出训练有素的实体链接模型。现实世界数据集上的实验表明，所提出的方法可以广泛改善最新的几杆实体链接模型，并在只有少量标记的数据可用时实现令人印象深刻的性能。此外，我们还展示了模型可传递性的出色能力。
translated by 谷歌翻译